Замок є найдавнішою і найціннішою історико-архітектурною спорудою міста. Від назви замку Унгвар (замок на річці) найменувалося й місто (на початку XX ст. назва змінена на слов’янське Ужгород).

Про існування укріплення Гунг на час переходу мадярів у кінці ІХ ст. через карпатські перевали у Тисо-Дунайську низовину свідчить й угорський літописець ХІІ ст. Описи чи зображення тогочасного укріплення не збереглися. Проте відомо, що у VІІІ-ІХ ст. й особливо у Х-ХІ ст. укріплені городища і забудови навколо них були поширені у західних і східних слов’ян, зокрема на території Київської Русі.

Ужгородська фортеця як одна з твердинь на кордонах Київської держави мала такі ж особливості, як й інші укріплення давньої Українсько-Руської держави, зокрема в Прикарпатті. Тут, наприклад, стіни, вежі, ворота, мости були з дерева. Фортифікаційна лінія оборони складалася з земляного валу, рову перед ним, а завершувалась дерев’яною огорожею.

Міць твердині засвідчує також факт, що у 1086 р. орди половців на чолі з ханом Кутеском так і не змогли оволодіти нею. Відчайдушно оборонялися захисники фортеці в час золотоординської навали навесні 1241 р., але не змогли встояти перед ордою — град та інші будівлі міста були зруйновані.

Після цього спустошливого набігу розпочато будівництво кам’яної фортеці.

Вже у документах 1248 р. згадується новий замок Унг (Унгуйвар), який, однак, був зруйнований у 1326 р.
Подальша доля замку тісно пов’язана з історією Ужгорода. За час свого існування замок неодноразово зазнавав військових нападів і штурмів. У 1728 р. тут була пожежа, внаслідок якої завдано великої шкоди будівлям, зокрема головному корпусу, третій поверх якого з тих пір не відновлювався.

Протягом 1735-1740 рр. замок перебував у володінні барона Ференца Дюлаї, а по його смерті відійшов до казни. У 1775 р., на прохання єпископа Андрія Бачинського, австрійська імператриця Марія Терезія передала замок Мукачівській греко-католицькій єпархії, яка з 1780 р. розмістила у ньому богословську семінарію (проіснувала тут до 1945 р.).

Впродовж свого існування фортеця зазнавала багаторазових змін в архітектурі. Зовні замок має вигляд могутньої обороннної споруди у формі неправильного чотирикутника (трапеції), у кожному куті якого розміщені бастіони староіталійського типу. Ця архітектурна особливість характерна для періоду пізнього ренесансу.

Саме в середині ХVІІ ст. архітектурно-будівельний та оборонний розвиток фортеці було завершено, — у такому вигляді замок зберігся до наших днів. У підземеллях фортеці були каземати. Підвали — найдавніша частина замку, тут можна прослідкувати залишки старих фундаментів.

У палаці нараховується понад 40 приміщень. Привертає увагу замкова каплиця, стеля якої розписана на тему релігійних сюжетів в 1857 р. відомим академічним художником Фердинандом Видрою. Кілька залів оздоблені стильним орнаментом ХVІІІ — першої половини ХІХ ст.

З кінця 1960-х рр. у замку проводяться реставраційні роботи, внаслідок чого у значній мірі законсервовані або відновлені аварійні, зруйновані чи втрачені елементи цієї визначної пам’ятки історії, культури, фортифікації та архітектури Ужгорода.

З 1947 р. у замку розташований Закарпатський краєзнавчий музей, дегустаційний зал, ресторан. Іноді проводяться лицарські турніри.